Matematyczne podstway sieci neuronowych

Słowo wstępne

Notatki te powstają na potrzeby kursu o tym samym tytule, zaproponowanego w semestrze letnim roku akademickiego 2026/2027 w Instytucie Matematycznym Uniwersytetu Wrocławskiego.

Ich głównym celem jest zaznajomienie autora (a siłą rzeczy także czytelnika) z podstawowymi zasadami działania sieci neuronowych, które stanowią jeden z fundamentów dużych modeli językowych oraz modeli generatywnych. Nie chcemy traktować poszczególnych warstw sieci neuronowych jak czarnych skrzynek. Zamiast tego, poprzez analizę i implementację prostych, niskowymiarowych przykładów, będziemy starali się zrozumieć mechanizmy ich działania, a także ich mocne i słabe strony.

Lista źródeł, z których będę korzystał podczas przygotowywania tych notatek, ma charakter rozwojowy. Obecnie głównymi pozycjami są:

• Mathematics of Neural Networks, Bart Smets, https://arxiv.org/pdf/2403.04807
• Alice’s Adventures in a Differentiable Wonderland, Simone Scardapane, https://arxiv.org/pdf/2404.17625
• Neural Networks and Deep Learning, Michael Nielsen, http://neuralnetworksanddeeplearning.com/

Notatki mają charakter roboczy i (jak wszystko we wstępnych fazach rozwoju) mogą zawierać błędy. Będę wdzięczny za zgłoszenie każdej usterki znalezionej w tekście.

Notatki są przygotowywane w Quarto, otwartym systemie do tworzenia publikacji naukowych i technicznych. Więcej informacji o Quarto można znaleźć na stronie https://quarto.org/.